Language is one of the primary means by which we describe the 3D world around us. While rapid progress has been made in text-to-2D-image synthesis, similar progress in text-to-3D-shape synthesis has been hindered by the lack of paired (text, shape) data. Moreover, extant methods for text-to-shape generation have limited shape diversity and fidelity. We introduce TextCraft, a method to address these limitations by producing high-fidelity and diverse 3D shapes without the need for (text, shape) pairs for training. TextCraft achieves this by using CLIP and using a multi-resolution approach by first generating in a low-dimensional latent space and then upscaling to a higher resolution, improving the fidelity of the generated shape. To improve shape diversity, we use a discrete latent space which is modelled using a bidirectional transformer conditioned on the interchangeable image-text embedding space induced by CLIP. Moreover, we present a novel variant of classifier-free guidance, which further improves the accuracy-diversity trade-off. Finally, we perform extensive experiments that demonstrate that TextCraft outperforms state-of-the-art baselines.
translated by 谷歌翻译
开放式杂货店是一家杂货店,客户不必排队等待。开发这样的系统并不是微不足道的,因为它面临着认识到人的动态和巨大流动的挑战。特别是,可以有效地将每个快照分配给相应客户的聚类方法对于系统至关重要。为了解决无公开结帐杂货店中的独特挑战,我们提出了一种有效的人群聚类方法。具体而言,我们首先提出一个拥挤的子图(CSG),以将大规模和连续数据流之间的关系定位。 CSG由拟议的选择链接 - 重量(plw)策略构建,\ textbf {picks}基于时间空间信息的节点,\ textbf {links}通过轨迹信息和\ textbf {comute} links}链接由拟议的von mises-fisher(VMF)相似性度量。然后,为了确保该方法适应动态和看不见的人的流程,我们提出了图形卷积网络(GCN),采用简单的最近邻居(NN)策略,以准确地聚集CSG的实例。 GCN被采用以将功能投射到低维可分离空间中,而NN能够快速在动态人流动下为此空间产生结果。实验结果表明,在这种情况下,提出的方法优于其他替代算法。实际上,整个系统已被实施并部署在几个现实的开放式杂货中。
translated by 谷歌翻译
我们提出了ShapeCrafter,这是一个用于递归文本条件3D形状生成的神经网络。生成文本条件的3D形状的现有方法会消耗整个文本提示,以在一个步骤中生成3D形状。但是,人类倾向于递归描述形状,我们可能以初始描述开始,并根据中间结果逐步添加细节。为了捕获此递归过程,我们引入了一种生成以初始短语为条件的3D形状分布的方法,该方法随着添加更多短语而逐渐发展。由于现有的数据集不足以训练这种方法,因此我们提出了Text2Shape ++,这是一个支持递归形状生成的369K形状文本对的大数据集。为了捕获通常用于完善形状描述的本地细节,我们建立在矢量定量的深层隐式函数的基础上,从而产生高质量形状的分布。结果表明,我们的方法可以生成与文本描述一致的形状,并且随着添加更多短语,形状逐渐发展。我们的方法支持形状编辑,外推,并可以在人机合作中为创意设计提供新的应用程序。
translated by 谷歌翻译
在视觉计算中,3D几何形状以许多不同的形式表示,包括网格,点云,体素电网,水平集和深度图像。每个表示都适用于不同的任务,从而使一个表示形式转换为另一个表示(前向地图)是一个重要且常见的问题。我们提出了全向距离字段(ODF),这是一种新的3D形状表示形式,该表示通过将深度从任何观看方向从任何3D位置存储到对象的表面来编码几何形状。由于射线是ODF的基本单元,因此可以轻松地从通用的3D表示和点云等常见的3D表示。与限制代表封闭表面的水平集方法不同,ODF是未签名的,因此可以对开放表面进行建模(例如服装)。我们证明,尽管在遮挡边界处存在固有的不连续性,但可以通过神经网络(Neururodf)有效地学习ODF。我们还引入了有效的前向映射算法,以转换odf to&从常见的3D表示。具体而言,我们引入了一种有效的跳跃立方体算法,用于从ODF生成网格。实验表明,神经模型可以通过过度拟合单个对象学会学会捕获高质量的形状,并学会概括对共同的形状类别。
translated by 谷歌翻译
大型语言模型可以编码有关世界的大量语义知识。这种知识对于旨在采取自然语言表达的高级,时间扩展的指示的机器人可能非常有用。但是,语言模型的一个重大弱点是,它们缺乏现实世界的经验,这使得很难利用它们在给定的体现中进行决策。例如,要求语言模型描述如何清洁溢出物可能会导致合理的叙述,但是它可能不适用于需要在特定环境中执行此任务的特定代理商(例如机器人)。我们建议通过预处理的技能来提供现实世界的基础,这些技能用于限制模型以提出可行且在上下文上适当的自然语言动作。机器人可以充当语​​言模型的“手和眼睛”,而语言模型可以提供有关任务的高级语义知识。我们展示了如何将低级技能与大语言模型结合在一起,以便语言模型提供有关执行复杂和时间扩展说明的过程的高级知识,而与这些技能相关的价值功能则提供了连接必要的基础了解特定的物理环境。我们在许多现实世界的机器人任务上评估了我们的方法,我们表明了对现实世界接地的需求,并且这种方法能够在移动操纵器上完成长远,抽象的自然语言指令。该项目的网站和视频可以在https://say-can.github.io/上找到。
translated by 谷歌翻译
无人驾驶飞行器(无人机)现在越来越多地进入业余和Com-Mercial用户。最近的研究中提出了几种类型的空域结构,包括几种结构化的自由飞行概念。本文为简单地,分布式协调结构化空域概念中的多变量的动作。这是作为自由飞行问题的制定,包括到目的地线和互际碰撞避免的融合。每个多变电器的目的行是先验的。此外,Lyapunov样功能是精心设计的,并进行了建议的分布式控制的正式分析和证明,表明可以解决自由飞行控制问题。更重要的是,由所提出的控制器,一旦进入另一个的安全区域,多个电源可以尽快远离另一个。给出了模拟和实验表明了所提出的方法的有效性。
translated by 谷歌翻译
我们介绍了一个高分辨率变压器(HRFormer),其学习了密集预测任务的高分辨率表示,与产生低分辨率表示的原始视觉变压器,具有高存储器和计算成本。我们利用在高分辨率卷积网络(HRNET)中引入的多分辨率并行设计,以及本地窗口自我关注,用于通过小型非重叠图像窗口进行自我关注,以提高存储器和计算效率。此外,我们将卷积介绍到FFN中以在断开连接的图像窗口中交换信息。我们展示了高分辨率变压器对人类姿态估计和语义分割任务的有效性,例如,HRFormer在Coco姿势估算中以$ 50 \%$ 50 + 50美元和30 \%$更少的拖鞋。代码可用:https://github.com/hrnet/hRFormer。
translated by 谷歌翻译
已发现深层神经网络重新受到攻击。一种称为Adver-Sarial示例的精心设计的输入可以导致网络进行错误的预测。根据不同的情况,目标和能力,攻击的困难是不同的。难以转让的人。问题是:是否存在可以满足所有这些要求的存在攻击?在这个pa-per中,我们通过产生一种攻击这些条件来回答这个问题。我们学到了一个通用映射的对抗示例的来源。这些考试示例可以欺骗分类网络,以对所有目标类别进行分类,并且具有强大的可传递性。我们的代码在以下方面发布:xxxxx。
translated by 谷歌翻译
Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.
translated by 谷歌翻译
A noisy training set usually leads to the degradation of the generalization and robustness of neural networks. In this paper, we propose a novel theoretically guaranteed clean sample selection framework for learning with noisy labels. Specifically, we first present a Scalable Penalized Regression (SPR) method, to model the linear relation between network features and one-hot labels. In SPR, the clean data are identified by the zero mean-shift parameters solved in the regression model. We theoretically show that SPR can recover clean data under some conditions. Under general scenarios, the conditions may be no longer satisfied; and some noisy data are falsely selected as clean data. To solve this problem, we propose a data-adaptive method for Scalable Penalized Regression with Knockoff filters (Knockoffs-SPR), which is provable to control the False-Selection-Rate (FSR) in the selected clean data. To improve the efficiency, we further present a split algorithm that divides the whole training set into small pieces that can be solved in parallel to make the framework scalable to large datasets. While Knockoffs-SPR can be regarded as a sample selection module for a standard supervised training pipeline, we further combine it with a semi-supervised algorithm to exploit the support of noisy data as unlabeled data. Experimental results on several benchmark datasets and real-world noisy datasets show the effectiveness of our framework and validate the theoretical results of Knockoffs-SPR. Our code and pre-trained models will be released.
translated by 谷歌翻译